Pierwszy Dwór Artusa, właściwie nazywany „Dom Towarzyski”, czy „Dom Klubowy” (nazwa Dwór Artusa na określenie budynku pojawiła się dopiero na początku w XVII wieku), zbudowany został w latach 1385–1386. W 1466 roku podpisano tutaj II pokój toruński. Budowla była później przebudowywana i remontowana, szczególnie w XVII wieku, kiedy wykonano bogatą dekorację malarską fasady, na której umieszczono fryzy z wizerunkami królów od Władysława Jagiełły do Zygmunta III Wazy, znanych z cyklu rysunków powstałych w latach 1738-1745 przedstawiających widoki Torunia i okolic przygotowanych przez Steinera. Przebudowaniu uległo także sala parterowa, gdzie m.in. wyłożono podłogę białymi i czerwonymi płytami marmurowymi. Wnętrze na parterze podzielone dwiema kolumnami przekrywało sklepienie.

14 czerwca 1802 roku władze pruskie rozpoczęły rozbiórkę średniowiecznego gmachu. Dopiero w maju 1826 roku ukończono budowę drugiego Dworu Artusa według projektu budowniczego miejskiego Heckerta. Miał on skromną klasycystyczną, piętrową, pięcioosiową fasadę dekorowaną pilastrami w wielkim porządku. Na skutek likwidacji Bractwa św. Jerzego w 1842 roku Dwór stał się Teatrem Miejskim z widownią na 500 miejsc. Drugi Dwór Artusa i sąsiednia, zachodnia kamienica uległy rozbiórce w 1889 roku, na ich miejscu powstał obecny budynek według projektu miejskiego radcy budowlanego Rudolpha Schmidta. Na parterze „Trzeciego Dworu Artusa” mieściła się restauracja i sklepy, na piętrze natomiast znajdowały się sale Wielka, Biała, Mała i Czerwona, a na poddaszu pokoje gościnne.

Po odzyskaniu przez Polskę niepodległości w 1920 roku, reprezentacyjne sale Dworu gościły m.in. generała Józefa Hallera, prezydentów II Rzeczypospolitej: Stanisława Wojciechowskiego, Ignacego Mościckiego i Józefa Piłsudskiego. Wróciły tradycyjne uroczystości państwowe, spotkania społeczne, cechowe i bale reprezentacyjne.

Po II wojnie światowej, w 1949 roku, budynek został przekazany tworzącemu się Uniwersytetowi Mikołaja Kopernika i mieściło się w nim Collegium Maximum oraz Klub Studencki Od Nowa. Od 1993 roku obiekt jest siedzibą Centrum Kultury.

W latach 1994 - 2015 Dwór Artusa był siedzibą Toruńskiej Orkiestry Symfonicznej.

W listopadzie 2018 roku Centrum wzbogaciło się o nową przestrzeń edukacyjną – Piwnice Kultury, w których edukatorzy będą prowadzić cykliczne warsztaty muzyczne, plastyczne i filmowe dla dzieci, młodzieży, dorosłych i seniorów.

1 stycznia 2020 roku do Centrum przyłączono Dom Muz wraz z filiami.